#mixture of experts

2 artykułów

• I Ran a 35B Param Model On My iPhone (Local AI)

  16 września 2026 🎧 4:56

  Quen trzy i pięć w wariancie trzydziestu pięciu miliardów parametrów generuje jedenaście tokenów na sekundę na iPhonie siedemnaście. W czterobitowym pliku ten model waży około dwudziestu gigabajtów i normalnie musi w całości siedzieć w pamięci. Na telefonie w pamięci zostaje tylko jeden i cztery dziesiąte gigabajta.…

• Run Qwen 3.6 35B on 3GB RAM?

  15 września 2026 🎧 10:47

  Edge Zero to otwarty silnik inferencyjny, który uruchamia model o trzydziestu pięciu miliardach parametrów na Mac mini i raportuje dwa i dziewięć dziesiątych gigabajta pamięci. Wagi nie zmalały. Cały checkpoint to dziewiętnaście i pół gigabajta, z czego osiemnaście to wagi ekspertów, które przez cały czas rozmowy le…